基于脑电图的脑-机接口系统在实用化进程中面临的挑战丨Engineering
The following article is from 脑机接口社区 Author 许敏鹏等
本文选自中国工程院院刊《Engineering》2021年第12期
作者:许敏鹏,何峰,钟子平,顾晓松,明东
来源:Current Challenges for the Practical Application of Electroencephalography-Based Brain–Computer Interfaces[J].Engineering,2021,7(12):1710-1712.
编者按
脑-机接口是一门涉及神经科学、计算机科学、材料学、电子学、人机工程学和机械工程等多领域交叉融合的新兴学科。脑-机接口系统可以在生命体和非生命体之间建立直接的通信桥梁,能够将中枢神经系统的活动转换为人工输出,从而增强、替代、修复、补充或改善中枢神经系统的正常输出。现今,基于头皮脑电的脑-机接口系统应用最为广泛。
中国工程院顾晓松院士科研团队在中国工程院院刊《Engineering》2021年第12期发表《基于脑电图的脑-机接口系统在实用化进程中面临的挑战》一文。文章在介绍脑-机接口系统的基础上,分析了脑-机接口系统发展面临的挑战,并从4个方面总结了应对挑战的重要研究方向。文章指出,脑-机接口是涉及多学科研究领域的复杂问题,需要不同专业知识背景的学者通力合作,今后的重点研究方向为脑-机交互评价新指标、脑-机接口硬件创新提升用户友好性、低认知负荷脑-机接口范式、基于皮脑电机制和特性的脑-机接口算法开发等。
图片来自网络
脑-机接口(brain-computer interface, BCI)这一术语最早由Jacques J. Vidal等于1973年提出,距今已有近50年之久。与传统电子接口在非生命体间实现信息传输不同,BCI系统是在生命体和非生命体之间建立直接的通信桥梁。它能够将中枢神经系统的活动转换为人工输出,从而增强、替代、修复、补充或改善中枢神经系统的正常输出。现今,基于头皮脑电(electroencephalography, EEG)的BCI系统应用最为广泛。
从通信的角度看,编码策略与解码策略是EEG-BCI系统中最关键的两个环节。在BCI领域,编码策略又被称为范式,它将用户的意图指令转化为可检测的脑电信号;解码策略又被称为算法,它旨在提取和识别相应的脑电特征。因此,作为通信系统中的关键指标,信息传输速率(information transfer rate, ITR)被广泛地用于评估BCI编解码效率。近十年来,BCI系统的ITR得到大幅提升。在2010年前后,ITR能够达到的最高值仅为1.5 bits∙s-1 (bps),到2015年时已提升近三倍,当前已接近7 bps。
从另一角度看,BCI系统可被视作一种用于处理用户意图指令的处理器。因此,针对BCI系统的指令处理方式及其处理能力进行评价是必不可少的环节。其中一个直接评价指标就是指令集的大小,即BCI系统能够处理的指令类型数量。该指标近十年来得到显著提升,从2010年的30个左右提高至2020年的上百个。另一个重要指标是BCI的异步性能,即BCI系统是否可以进行异步操作,目前该研究方向仍有待发展。
从第三个角度看,BCI系统是一种实时测量心理活动的仪器。与传统测量仪器不同,如EEG放大器仅对EEG信号本身进行测量,而BCI系统测量的是EEG信号背后所反映的复杂心理过程,如区分被试进行的是左手运动想象还是右手运动想象。因此,BCI的测量精度可视为能够被实时解码的最小脑电特征。实现解码的脑电特征越微弱,BCI所触及的心理活动越丰富。2018年,BCI的测量精度首次突破亚微伏级别(0.5 µV),显著拓宽了BCI的应用面。
一、挑战
近年来BCI技术发展突飞猛进,但从实验室场景走向实际应用场景仍然面临诸多挑战。BCI是一门涉及神经科学、计算机科学、材料学、电子学、人机工程学和机械工程等多领域交叉融合的新兴学科。因此,推动BCI实用化需要不同领域学者的共同努力。
笔者认为,当前BCI发展需重点关注以下两大方面的挑战。
(1)当前BCI的硬件形态及穿戴方式限制了其应用范围。目前,EEG-BCI系统通常包括电极、放大器和脑电帽等配件,其硬件形态及穿戴方式直接决定了BCI的潜在应用场景。例如,为获取高质量的脑电信号,大多数研究使用的是高精度、多导联的脑电采集设备,但这类设备体积大、质量重、便携性差,仅能应用于科学研究和医疗场景。针对此问题,研究人员也已研发体积较小、质量较轻的便携式脑电产品,但仍需脑电帽或类似装置来安放电极。某些更轻便的BCI产品使用结构更紧凑、更易穿戴的头带来固定电极。然而,由于目前的BCI系统能力有限,无法为健康人群的日常生活带来实质性改善,因此这些舒适性差、美观性低的脑电帽或脑电头带仍然难以被普通用户接受。实际上,在大多数情况下,BCI系统对健康人群的用处是微不足道甚至不明确的。因此,与患者满怀期望地使用BCI来替换、修复、增强、补充或改善大脑神经功能不同,健康人群缺乏足够的动力去穿戴现有的BCI装置。因此,只有改善BCI的硬件形态与穿戴方式才能真正将这种最直接的人机通信方式自然地融入日常生活当中,也将有助于研究日常工作中的大脑机制。
(2)当前BCI不自然的交互范式损害了其易用性。在过去的50年中,BCI研究人员大多聚焦于如何进一步提高脑-机之间的ITR,而忽略了二者之间的交互友好性。现今BCI范式发展严重停滞不前,现有BCI研究所使用的交互范式几乎都发明于30年前,如运动想象(motor imagery, MI)、P300和稳态视觉诱发电位(steady-state visual evoked potential, SSVEP)等。这些传统范式已被证实能够在大脑与计算机之间实现有效的信息传输。但是,它们与大脑的交互过程不自然。与传统的人机交互方式相比,传统BCI范式需要占用较多的认知资源来完成指令输出。例如,基于SSVEP的BCI系统取得了当前最高的ITR,指令输出速度能够达到一秒一个,但为获得高鲁棒性的SSVEP信号,SSVEP-BCI通常采用闪烁感强烈的大面积视觉刺激对指令进行编码。这种方式不仅会占用大量的视觉资源,而且,与主观意图无直接关系的强烈视觉刺激会烦扰用户,使其感到不适。因此,即便基于传统范式的BCI系统在某些特定场景下能够正常运行,但其不自然的交互方式极大地降低了系统的易用性。
二、未来研究方向
笔者认为上述两大挑战是现阶段阻碍BCI系统实用化的主要因素,亟需采取有力措施。同时,这两大挑战皆是涉及多学科研究领域的复杂问题,因此需要不同专业知识背景的学者通力合作。在这里,笔者总结了应对上述挑战的部分重要研究方向,以望能够引起学者们的更多关注、探讨与研究。
(1)脑-机交互评价新指标。在以往的研究中,研究人员通常采用分类准确率和ITR来评估BCI系统的性能。然而,这两项指标仅侧重于评价BCI系统的信息转换过程,并不能全面反映真实复杂人-机交互场景中的脑-机交互过程。在实际的脑-机交互过程中,需要更多地考虑如何评价“人因”在闭环系统中的作用和影响。因此,从实用化的角度看,需要设计一些更加综合的指标来评价BCI系统的整体性能,如脑手效率比(brain-to-hands ratio, BHR)等。具体来说,BHR是指同一用户在相同任务中,利用BCI控制所获成绩与直接用手控制所获成绩的比值。
(2)BCI硬件创新提升用户友好性。如前文所述,当前BCI的硬件设备形态和穿戴方式难以被大多数健康人群所接受。因此,亟需革新BCI传感电极、采集电路、集成模式、安装机制和穿戴方式,从而推动BCI硬件设备走向微型化、集成化和易用化。例如,EEG采集设备若能微小至可藏于发内,将会比目前的笨重形态更易被用户接受。
(3)低认知负荷BCI范式。传统的BCI范式通常会占用用户大量的认知资源,造成脑-机交互方式的不自然。因此,笔者强烈建议学者们从传统BCI范式研究转向能够降低用户认知负荷的新型BCI范式研究。
(4) 基于EEG机制和特性的BCI算法开发。BCI的解码是识别大脑意图的关键环节。在图像和语音识别领域,人类可以清楚地辨认待识别对象,因此研究人员能够依据先验知识与合理推断来指导特征的提取与分类器的构建。然而,原始EEG信号十分复杂,以至于难以通过肉眼观察其背后规律。而在EEG演进规律与特性未知的情况下开发BCI算法是盲目的。因此,深入理解EEG机制将有助于指导BCI算法的设计,而这一问题在以往的大多数研究中常常被忽略。此外,EEG信号在不同个体之间以及同一个体在不同时间下均存在显著变异性,这严重影响了EEG特定响应的可重复性,降低了BCI算法的泛化能力。先进的BCI算法需要克服EEG信号的跨个体、跨时间变异性,以构建高鲁棒性的BCI系统。为实现这一目的,同样需要深入理解EEG信号背后的神经机制。
总而言之,BCI的发展进程已经迈入了脑-机交互阶段。因此,除上述四个方向外,任何与脑-机自然交互相关的课题,均应在未来的BCI实用化进程中得到更加深入的研究。
注:本文内容呈现略有调整,若需可查看原文。
改编原文:
Minpeng Xu, Feng He, Tzyy-Ping Jung, Xiaosong Gu, Dong Ming.Current Challenges for the Practical Application of Electroencephalography-Based Brain–Computer Interfaces[J].Engineering,2021,7(12):1710-1712.
作者介绍
顾晓松,医学组织工程学与神经再生专家,中国工程院院士。
长期从事组织工程神经与神经再生研究,提出“构建生物可降解组织工程神经”的学术观点,被载入英国剑桥大学教科书;发明构建组织工程神经的新技术和新工艺;发明生物可降解人工神经移植物,在国际上率先将壳聚糖人工神经移植物应用于临床,为我国组织工程神经研究与转化走在国际前沿作出了突出贡献。
☟ 如需阅读全文,请点击文末“阅读原文”
☟ 更多相关阅读,请点击以下链接查看
相关阅读
说明:论文反映的是研究成果进展,不代表《中国工程科学》杂志社的观点。